Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution
任务状态治理:一种可验证、可恢复的 GUI 代理执行虚拟机
🧭 GUI Agent 状态治理与恢复
SAIS, University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Meituan · Peking University · Institute of Software, Chinese Academy of Sciences
提出 TaskVM,将 GUI 任务建模为可编辑契约,实现可验证与可恢复的代理执行
📌 工作参考价值(4 点)
- 将任务建模成 Desired / Preserve / Observed 三栏契约:在电商运营、广告投放等 Agent 流程中,允许用户编辑期望结果与“必须保持不变”的字段,减少执行漂移带来的失控。
- 对每个 Agent 动作预标记 reversible / compensatable / irreversible:尤其适用于改价、发券、调整预算等高风险操作,便于在执行前评估恢复成本,提供回滚或补偿机制。
- 采用独立 verifier,只依赖 fresh visible observation 验证目标是否满足,不信任 Agent 自身回报;可迁移到生成式推荐/Agent pipeline 的结果验证,例如页面元素是否出现、按钮状态是否改变。
- 将用户编辑写回真实 GUI 操作:在自研自动化平台中实现可编辑控件与真实界面动作绑定,让业务人员直接修改任务参数后自动执行,提升控制感和信任感。